在快速发展的生成式 AI 领域，Nous Research 团队正在进行一项独特的实验:他们正在利用分布在全球的机器，预训练一款15亿参数的大型语言模型（LLM），这一过程避免了传统上需要在昂贵且耗电的数据中心或超级集群中进行的集中式开发。Nous Research 还在其专门网站 distro.nousresearch.com 上直播这一预训练过程，实时展示模型在各类评估基准上的表现，并提供参与训练的硬件位置地图，涵盖美国和欧洲的多个地点。截至本文发布时，预训练的剩余时间约为57小时（即2.3天），而已完成的训练进度

Nous Research 团队发布了一种名为 DisTrO 的新优化器，旨在降低分布式互联网训练中的信息传输需求，显著提升 AI 模型训练效率。DisTrO 可以在普通网络条件下进行训练，允许全球个人和机构通过自家电脑参与 AI 开发，打破了大公司垄断 AI 训练的局面。相较于传统算法 All-Reduce，DisTrO 效率提升高达 857 倍，每步训练所需传输的信息量从 74.4GB 降低到 86.8MB。这项技术使 AI 训练成本降低，让更多人能够参与，并减少了对高性能 GPU 的依赖，使得训练在速度较慢的互联网连接下也能进行。通过 DisTrO，研究人员和机构能够更自由地进行创新和实验，推动技术进步，惠及社会。该技术的开放性使得 AI 模型训练变得更加灵活，支持全球分散的 GPU 协同工作，减少了对大型数据中心的需求，对环境影响更小。DisTrO 的应用不仅限于大型语言模型，还适用于其他类型的 AI 训练，为未来 AI 发展提供了新的可能性。